在YARN上提交打包的作业之后,提示已杀死,这是为什么呢? 您所在的位置:网站首页 yarn 打包 在YARN上提交打包的作业之后,提示已杀死,这是为什么呢?

在YARN上提交打包的作业之后,提示已杀死,这是为什么呢?

#在YARN上提交打包的作业之后,提示已杀死,这是为什么呢?| 来源: 网络整理| 查看: 265

报错情况图片描述

在YARN上看到的是这样,提交了很多次都是succeeded图片描述

然而HDFS上并没有相应的输出文件,只有这样一个文件夹,里面的内容也是空的图片描述

///////////////////////////////// 修改为500M后的异常情况图

先是出现了这样的WARN,大概重复了5 6次图片描述

然后就是下面的ERROR图片描述

接上图图片描述

接上图图片描述

接上图图片描述图片描述

----------------------- 再次尝试后 我先试了一下Pi的例子,是可以出结果的(但是executor-memory设置为500M的话会失败,设置为2G可以成功运行,下一张也有YARN上记录的Pi失败任务)图片描述

然后我再提交项目中的作业任务(内存设置的2G,Yarn和Spark都开启了),会在这个进度条一直卡住一分钟多,然后告诉我失败图片描述

这是Yarn上的application具体信息图片描述

控制台信息图片描述

图片描述图片描述图片描述

//////////////////////////// 代码和脚本 这是我的代码,没有找到您说的new SparkConf,是这个原因吗?图片描述

这是提交作业的脚本图片描述

/////////////////////// 1G + 2个executor图片描述

图片描述

图片描述

图片描述



【本文地址】

公司简介

联系我们

今日新闻

    推荐新闻

    专题文章
      CopyRight 2018-2019 实验室设备网 版权所有